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Aussagen der Bundesministerin der Justiz und für Verbraucherschutz zur 
Algorithmenkontrolle 


Vorbemerkung der Fragesteller 

Die kürzlich zurückgetretene Bundesministerin der Justiz und für Verbraucher¬ 
schutz, Dr. Katarina Barley, hat am 24. Mai 2019 zu den Forderungen der Ver¬ 
braucherschutzministerkonferenz bezüglich einer Algorithmenkontrolle Stel¬ 
lung bezogen. Dabei betonte sie, dass das letzte Wort bei wichtigen Entschei¬ 
dungen immer der Mensch haben müsse. Gleichzeitig forderte die Bundesmi¬ 
nisterin Dr. Katarina Barley eine Überprüfbarkeit bei Entscheidungen, die Com¬ 
puter über Menschen treffen sowie eine stärkere Regulierung des Trackings auf 
europäischer Ebene (www.bmjv.de/SharedDocs/Zitate/DE/2019/052419_ 
Algorithmen.html;jsessionid=2522E98D37E43D92C4EC3FC2A04B0A56.1_ 
cid334). 

Fraglich ist, welche konkreten Maßnahmen aus den Aussagen der Bundesmi¬ 
nisterin, insbesondere nach ihrem Rücktritt, folgen. 


1. Inwiefern fühlt sich die Bundesregierung an die Aussagen und Forderungen 
der ehemaligen Bundesjustizministerin, Dr. Katarina Barley, hinsichtlich der 
Verbraucherschutzministerkonferenz (www.bmjv.de/SharedDocs/Zitate/DE/ 
2019/052419_Algorithmen.html;jsessionid=2522E98D37E43D92C4EC3FC 
2A04B0A56.1_cid334) auch nach ihrem Rücktritt gebunden? 

2. Inwiefern stimmt die Bundesregierung den Aussagen und Forderungen der 
ehemaligen Bundesjustizministerin, Dr. Katarina Barley, hinsichtlich der 
Verbraucherschutzministerkonferenz zu? 


Die Antwort wurde namens der Bundesregierung mit Schreiben des Bundesministeriums der Justiz und für 
Verbraucherschutz vom 2. Juli 2019 übermittelt. 

Die Drucksache enthält zusätzlich - in kleinerer Schrifttype - den Fragetext. 
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3. Welche Maßnahmen folgen für die Bundesregierung im Allgemeinen und 
das Bundesministerium der Justiz und für Verbraucherschutz (BMJV) 
im Speziellen aus der Aussage der ehemaligen Bundesjustizministerin 
Dr. Katarina Barley, es brauche Transparenz und Überprüfbarkeit bei Ent¬ 
scheidungen, die Computer über Menschen treffen? 

4. Gab oder gibt es Bestrebungen oder Vorbereitungen innerhalb der Bundes¬ 
regierung im Allgemeinen und dem BMJV im Speziellen, eine Regulierung 
von Algorithmen hinsichtlich ihrer Transparenz, Nachvollziehbarkeit oder 
Überprüfbarkeit vorzunehmen? 

Wenn ja, welche? 

Die Fragen 1 bis 4 werden zusammen beantwortet. 

Algorithmen-basierte Entscheidungen bergen neben vorhandenen Chancen auch 
Risiken, etwa wenn damit die Verarbeitung von Verbraucherdaten verbunden ist 
und weil häufig die Anwendbarkeit eines Algorithmus die Bewertung von Per¬ 
sönlichkeitsmerkmalen voraussetzt sowie wenn Prognosen über das Verhalten 
von Verbrauchern erstellt werden. Algorithmen-basierte Entscheidungen können 
gesellschaftliche Ungleichheit festigen und Diskriminierungen fortschreiben, 
wenn in den der Entscheidung zugrunde liegenden Daten bereits Benachteiligun¬ 
gen angelegt sind. Hierdurch können insbesondere die Handlungsfreiheit, die 
Chancengleichheit und die Selbstbestimmung von Verbraucherinnen und Ver¬ 
brauchern gefährdet werden. Wenn Algorithmen darüber entscheiden, welche In¬ 
formationen welcher Person an welcher Stelle in sozialen Netzwerken angezeigt 
werden, kann dies Auswirkungen auf die Vielfalt von Informationen, den öffent¬ 
lichen Diskurs und damit auf den demokratischen Willensbildungsprozess haben. 

Vor diesem Hintergrund prüft die Bundesregierung, welche Maßnahmen auf na¬ 
tionaler und europäischer Ebene erforderlich sind. Die Bundesregierung hat im 
Herbst 2018 eine Datenethikkommission eingesetzt, die binnen eines Jahres ethi¬ 
sche Maßstäbe entwickeln sowie konkrete Regulierungsoptionen in den Berei¬ 
chen Umgang mit Daten, Algorithmen-basierte Entscheidungen und Künstliche 
Intelligenz vorschlagen soll. Die Leitfragen der Bundesregierung an die Daten¬ 
ethikkommission können hier abgerufen werden: 

www.bmjv.de/SharedDocs/Downloads/DE/Ministerium/ForschungUndWissenschafl/ 
DEK Leitfragen.pdf? _blob=publicationFile&v=l 

Die Datenethikkommission wird ihre Ergebnisse voraussichtlich am 23. Oktober 
2019 der Bundesregierung vorstellen. Die Bundesregierung wird die Empfehlun¬ 
gen der Datenethikkommission abwarten, bevor sie ihre Prüfung möglichen ge¬ 
setzgeberischen Handlungsbedarfs abschließt. Im Rahmen ihrer Überlegungen 
werden auch die auf internationaler Ebene formulierten Prinzipien für die Ent¬ 
wicklung und Anwendung von Künstlicher Intelligenz einfließen. Hierzu gehören 
zum Beispiel die von der Organisation for Economic Co-operation and Develop¬ 
ment (OECD) verabschiedeten Empfehlungen, die unter anderem das Erfordernis 
der Menschenzentriertheit und Transparenz von KI-Anwendungen betonen. 
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5. Glaubt die Bundesregierung an die technische Umsetzbarkeit einer Überprü¬ 
fung von Algorithmen? 

a) Falls ja, inwiefern gilt dies auch für Systeme, die „maschinelles Lernen“ 
betreiben? 

b) Falls ja, wie stellt sich die Bundesregierung eine solche Überprüfung so¬ 
wohl in technischer Fhnsicht als auch im Flinblick auf die behördliche Zu¬ 
ständigkeit vor? 

c) Falls nein, wie lässt sich dies mit den Aussagen der ehemaligen Bundes- 
justizministerin Dr. Katarina Barley vereinbaren? 

d) Welche Konsequenzen plant die Bundesregierung für Algorithmen, die 
sich (z. B. aufgrund ihres Aufbaus oder ihrer Komplexität) nicht kontrol¬ 
lieren lassen? 

Die Überprüfbarkeit von Algorithmen-basierten Entscheidungen und KI-Anwen- 
dungen ist eine wichtige Voraussetzung zum Schutz von Bürgerinnen und Bür¬ 
gern. Vor diesem Hintergrund hat die Bundesregierung die Datenethikkommis¬ 
sion auch darum gebeten, sich mit der Überprüfbarkeit von Algorithmen-basier¬ 
ten Entscheidungen und KI-Anwendungen zu befassen. Die Bundesregierung hat 
an die Datenethikkommission unter anderem folgende Leitffagen gerichtet: 

- Wie kann Verlässlichkeit, Reproduzierbarkeit und Überprüfbarkeit von Algo- 
rithmen-basierten-Entscheidungen gewährleistet werden? 

- Gibt es Grenzen des Einsatzes von Algorithmen-basierten Entscheidungen, 
wenn Einsatz und Kriterien den betroffenen Menschen nicht erklärt werden 
können? 

- Sind Testmethoden möglich, die selbstlernende Algorithmen-basierte Ent¬ 
scheidungen überprüfbar machen? 

Die technische Umsetzung einer Überprüfbarkeit von Algorithmen-basierten Ent¬ 
scheidungen und KI-Anwendungen ist Gegenstand der wissenschaftlichen De¬ 
batte. Dabei steht gerade auch die Überprüfung von selbstlernenden Systemen im 
Mittelpunkt der Forschung. Diese hat inzwischen diverse Lösungsansätze ent¬ 
wickelt, so zum Beispiel den „Counterfactual Explanations“-Ansatz, bei dem 
der Input variiert wird, um herauszufmden, ab welcher Abweichung des Inputs 
ein anderes Ergebnis erzielt würde, oder der „Layer-wise Relevance Propaga- 
tion“-Ansatz, bei dem - grob vereinfacht - ein Kl-Prozess rückwärts vom Output 
zum Input simuliert wird, um zu ermitteln, inwieweit einzelne neuronalen Schich¬ 
ten für die Entscheidung relevant geworden sind. 

Die Datenethikkommission soll sich entsprechend der Leitfragen zudem damit 
befassen, wie Algorithmen-basierte Entscheidungen und KI-Anwendungen be¬ 
aufsichtigt werden können. Die Bundesregierung wird die Empfehlungen der Da¬ 
tenethikkommission abwarten, bevor sie ihre Prüfung des möglichen Handlungs¬ 
bedarfs auch in Bezug auf behördliche Zuständigkeiten abschließt. 
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6. Welche Maßnahmen folgen für die Bundesregierung im Allgemeinen und 
das BMJV im Speziellen aus der Aussage der ehemaligen Bundesjustizmi¬ 
nisterin Dr. Katarina Barley, der Mensch müsse bei wichtigen Entscheidun¬ 
gen immer das letzte Wort haben? 

a) Plant die Bundesregierung, diese Forderung gesetzlich zu statuieren? 

Wenn ja, wann plant die Bundesregierung die Einbringung eines entspre¬ 
chenden Gesetzentwurfs in den Deutschen Bundestag? 

b) Welche Entscheidungen sind aus Sicht der Bundesregierung „wichtige 
Entscheidungen“, bei denen der Mensch das letzte Wort haben solle? 

Mit der Aussage, der Mensch müsse bei wichtigen Entscheidungen immer das 
letzte Wort haben, wird ein wesentlicher Grundwert unserer Gesellschaftsord¬ 
nung zum Ausdruck gebracht. Dieser Grundwert ist mit dem grundsätzlichen Ver¬ 
bot der automatisierten Einzelfallentscheidung bereits in Artikel 22 DSGVO an¬ 
gelegt. Auch die Prinzipien der OECD zur Entwicklung und Anwendung von 
Künstlicher Intelligenz betonen die Bedeutung der Menschenzentriertheit von 
KI-Anwendungen. Zudem folgt bereits aus dem Grundgesetz, das der Mensch 
nicht zum bloßen Objekt von Maschinen-Entscheidungen werden darf. Im Übri¬ 
gen wird auf die Antwort zu den Fragen 1 bis 4 verwiesen. 


7. Inwiefern findet nach Ansicht der Bundesregierung, wie von der ehemaligen 

Bundesjustizministerin geäußert, eine „Manipulation des Einzelnen“ durch 

Algorithmen statt? 

a) Welche Fälle von Manipulation des Einzelnen durch Algorithmen sind 
der Bundesregierung bekannt? 

b) Welche Fälle, bei denen Algorithmen die Auswahl von Ärzten vorbe¬ 
stimmt haben, sind der Bundesregierung bekannt? 

c) Welche Fälle, bei denen Algorithmen die Jobsuche vorbestimmt haben, 
sind der Bundesregierung bekannt? 

d) Welche Fälle, bei denen Algorithmen die Partnersuche vorbestimmt ha¬ 
ben, sind der Bundesregierung bekannt? 

e) Falls nein, wie lässt sich dies mit den Aussagen der Bundesministerin 
Dr. Katarina Barley auf der Homepage des BMJV vereinbaren? 

Die Möglichkeiten durch Big-Data-Analysen Prognosen über zukünftiges 
menschliches Verhalten zu erstellen, nehmen stetig zu. Dadurch steigt das Risiko 
weitreichender Vorfestlegungen und von ungerechtfertigten Benachteiligungen. 
Dieses Risiko ist umso problematischer, je sensibler der betroffene Lebensbereich 
ist, z. B. bei Entscheidungen zur privaten Lebensgestaltung oder zu gesundheitli¬ 
chen oder beruflichen Fragen. Software zur Bewerberauswahl, die eine automa¬ 
tisierte Vorauswahl mit Hilfe von Online-Persönlichkeitstests vomimmt, kann 
zur Folge haben, dass Bewerberinnen und Bewerber zu einem frühen Zeitpunkt 
allein deswegen aus dem Bewerbungsprozess ausscheiden, weil sie bestimmte 
Kriterien erfüllen, die von der Algorithmen-basierten Entscheidung negativ be¬ 
wertet werden, obwohl diese Kriterien keine Rückschlüsse auf die berufliche 
Qualifikation zulassen. 
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8. Teilt die Bundesregierung die Auffassung der ehemaligen Bundesjustizmi¬ 
nisterin, dass das Tracking auf europäischer Ebene stärker reguliert werden 
müsse? 

a) Inwiefern hat die Bundesregierung sich bereits für eine stärkere Regulie¬ 
rung des Trackings auf europäischer Ebene eingesetzt? 

b) Inwiefern wird sich die Bundesregierung für eine stärkere Regulierung 
des Trackings auf europäischer Ebene einsetzen? 

c) Falls nein, wie lässt sich dies mit den Aussagen der Bundesministerin 
Dr. Katarina Barley auf der Homepage des BMJV vereinbaren? 

9. Welche Maßnahmen folgen für die Bundesregierung im Allgemeinen und 
das BMJV im Speziellen aus der Aussage der ehemaligen Bundesjustizmi¬ 
nisterin Dr. Katarina Barley, es brauche noch konkretere Regelungen für die 
elektronische Kommunikation in der E-Privacy-Verordnung? 

a) Welchen konkreteren Regelungsbedarf sieht die Bundesregierung? 

b) Inwiefern hat die Bundesregierung sich bereits für konkretere Regelungen 
eingesetzt? 

c) Inwiefern wird die Bundesregierung sich für konkretere Regelungen ein¬ 
setzen? 

Die Fragen 8 und 9 werden wegen des Sachzusammenhangs gemeinsam beant¬ 
wortet. 

Die Bundesregierung weist darauf hin, dass es sich beim „Tracking“ um einen 
rechtlich nicht definierten Begriff handelt. In der politischen Diskussion wird das 
Tracking eines Nutzers in Internet und digitaler Welt als die Erfassung und Spei¬ 
cherung des kompletten Verhaltens und der Interaktionen eines Nutzers bei Nut¬ 
zung eines vernetzten Geräts oder eines Dienstes verstanden. Dies kann insbeson¬ 
dere die Interaktionen mit einer Webseite (z. B. Nachrichtenseite oder soziales 
Netzwerk), die Surfhistorie, die Kommunikation über webbasierte E-Mail- und 
Messengerdienste, die Verweildauer auf einer Webseite, die Art und Weise des 
Eintippens oder die Lesegeschwindigkeit umfassen. Bei Nutzung eines mobilen 
vernetzten Endgerätes können zusätzlich Informationen über den geografischen 
Standort und über Uhrzeit, Datum und Dauer eines Anrufs hinzukommen. Aus 
diesen Tracking-Daten können mittels Profiling präzise Schlussfolgerungen über 
eine Person gezogen werden. Die Tracking-Daten und die daraus mittels Profiling 
ermittelten Schlussfolgerungen sind häufig die Basis sowohl für die Erstellung 
von Algorithmen als auch für die profilabhängige Anwendung eines Algorithmus 
auf den einzelnen Nutzer. Die Erfassung und Verarbeitung von personenbezoge¬ 
nen Daten bei der Nutzung von vernetzten Geräten in Internet und digitaler Welt 
ist in der EU-Datenschutz-Grundverordnung geregelt sowie, wenn das Tracking 
auf der Speicherung von Infonnationen oder dem Zugriff auf Infonnationen im 
Endgerät eines Nutzers, z. B. mittels Cookies, basiert, in den E-Privacy-Regelun- 
gen. 

Nach Artikel 5 Absatz 3 der geltenden ePrivacy-Richtlinie (Richtlinie 2002/ 
58/EG in der durch die Richtlinie 2009/136/EG geänderten Fassung) dürfen Ge¬ 
räte-Identifier wie Cookies grundsätzlich nur mit Einwilligung des Nutzers ver¬ 
wendet werden, es sei denn, solche Verfahren sind aus bestimmten Gründen tech¬ 
nisch erforderlich. Artikel 8 des Entwurfs einer ePrivacy-Veordnung, über die 
derzeit im Rat verhandelt wird, erlaubt nach der gegenwärtigen im Rat verhan¬ 
delten Fassung ohne die Einwilligung des Endnutzers nur in engen Grenzen, dass 
auf dessen Endeinrichtungen durch Dritte zugegriffen werden darf, um dort In¬ 
fonnationen zu speichern und abzurufen. Die Speicherung von Infonnationen 
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oder der Zugriff auf Informationen im Endgerät zum Zwecke des Tracking gehört 
nicht zu den Tätigkeiten, für die auf Endeinrichtungen des Endnutzers ohne des¬ 
sen Einwilligung zugegriffen werden darf. Die Bundesregierung hat sich im Rat 
im Rahmen der laufenden Verhandlungen zur ePrivacy-Verordnung dafür einge¬ 
setzt, dass die von der Kommission vorgeschlagene Regelung des Artikels 8 nicht 
abgeschwächt wird. Sie setzt sich darüber hinaus dafür ein, dass eine Regelung 
zu den Einstellungen zum Schutz der Privatsphäre bei Intemetbrowsem in die 
zukünftige Verordnung aufgenommen wird. Eine solche Regelung, die sicherstel¬ 
len soll, dass Endnutzer ihre Privatsphäre über entsprechende Einstellungen in 
der Browsersoftware bewusst und wirksam schützen, war in dem ursprünglichen 
Vorschlag der Kommission enthalten. Die Bundesregierung hat dazu einen kon¬ 
kreten Vorschlag vorgelegt. 

Die Bestimmungen der geltenden ePrivacy-Richtlinie bzw. der zukünftigen 
ePrivacy-Verordnung regeln jedoch nicht die nachfolgende Verarbeitung perso¬ 
nenbezogener Daten, die im Rahmen eines nach den E-Privacy-Regelungen zu¬ 
lässigen Zugriffs auf Informationen in Endeinrichtungen erhoben werden. Die 
Rechtmäßigkeit dieser Datenverarbeitung beurteilt sich nach der Datenschutz- 
Grundverordnung. Ob die Geschehnisse um das Unternehmen Cambridge Ana- 
lytica, auf die die Bundesministerin der Justiz und für Verbraucherschutz in dem 
genannten Zitat Bezug nimmt, weitere Regelungen in der Datenschutz-Grundver¬ 
ordnung zum Schutz der Nutzerinnen und Nutzer von Internet und vernetzten Ge¬ 
räten erfordern, bedarf weiterer Prüfung, insbesondere von Regelungen zur Pro¬ 
filbildung und zur weiteren Stärkung der Betroffenenrechte. Die Bundesregie¬ 
rung weist dazu als nächsten Schritt auf den Bericht über die Bewertung und 
Überprüfung dieser Verordnung hin, den die Europäische Kommission bis zum 
25. Mai 2020 dem Europäischen Parlament und dem Rat vorlegen muss (Arti¬ 
kel 97 DSGVO). 

Was die in der Frage angesprochenen konkreteren Regelungen in der gegen¬ 
wärtig beratenen E-Privacy-Verordnung und die entsprechenden Stellungnahmen 
der Bundesregierung betrifft, wird auf die Antwort der Bundesregierung zu der 
Frage 5e der Kleinen Anfrage der Fraktion DIE LINKE, betreffend Verhandlun¬ 
gen über den Datenschutz in der elektronischen Kommunikation (ePrivacy-Re- 
form) auf Bundestagsdrucksache 19/6709 verwiesen. Auf der Tagung des Rates 
der EU (Telekommunikation) am 7. Juni 2019 in Luxemburg hat sich Deutsch¬ 
land dahingehend geäußert, dass die e-Privacy-VO ein hohes, über die DSGVO 
hinausreichendes Schutzniveau gewährleisten müsse. Der vorliegende Text errei¬ 
che dies nicht, weshalb Deutschland diesen nicht unterstützen könne. Änderun¬ 
gen seien nötig, speziell bei Artikel 6 bezüglich der „kompatiblen Weiterverar¬ 
beitung“. Außerdem setze man sich für einen Erhalt von Artikel 10 ein. DEU 
würde ein rasches Fortschreiten der Verhandlungen begrüßen. 
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